Tống Cao Tông được sử sách khen ngợi là một văn nhân có tài, một vị vua trung hưng đất nước. Tuy nhiên nhiều ý kiến cũng cho rằng bản chất Cao Tông là người bạc nhược nhút nhát nên mới chịu nhục bán rẻ giang sơn cho kẻ thù, bỏ mặc phụ mẫu, thủ túc chạy thoát thân về Giang Nam. Có thi nhân là Lâm Thăng làm bài thơ Đề Lâm An để (Đề nhà trạm Lâm An), ngụ ý chê trách ông Tống Cao Tông ngày đêm thưởng ngoạn cảnh đẹp ở Tây Hồ, quên đi nợ nước thù nhà và khuất phục nhục nhã bọn người Kim, không mảy may gì đến đất đai miền bắc đã mất gần hết:

Sơn ngoại thanh sơn, lâu ngoại lâuTây Hồ ca vũ kỷ thì hưuNoãn phong huân đắc du nhân túyTrực bả Hàng Châu tác Biện Châu.

Dịch:

Núi nối non xanh, lầu nối lầuTây Hồ múa hát tới bao lâu?Gió êm khẽ thấm say lòng kháchNgỡ tưởng Hàng Châu hóa Biện Châu.

Sử gia Thoát Thoát ghi trong Tống sử

Tích truyện thời Hạ Hậu, Hậu Nghệ soán vị qua năm đời thì Thiếu Khang trung hưng, Chu truyện đời thứ chín là Lệ vương phải trốn ra đất Trệ, Tuyên vương được lập nối dòng đại thống, Hán truyện thấy Quang Vũ Đế trung hưng triều Hán, Tấn truyện vào đời thứ tư có họa Mẫn, Hoài; Nguyên Đế chính vị ở Kiến Nghiệp, Đường truyện đời thứ sáu có An, Sử chi nạn; Túc Tông tức vị tại Linh Vũ; Tống truyện vào đời thứ chín hai đế Huy, Khâm bị người Kim vây bắt, Cao Tông trốn thoát về Nam Kinh, sử cũng gọi là Trung hưng, nhưng xét ra thì khác xa với tiền nhân. Hạ qua Nghệ Trác, Chu lịch Cộng, Hòa; Hán gian Tân thất, Canh Thủy; Tấn, Đường, Tống bị mất ngôi vài tháng hay vài năm thì có người kế nghiệp. Tiêu vương, Lang Nha có họ hàng xa với tôn thất, Thiếu Khang, Tuyên vương, Túc Tông, Cao Tông đều là kế thừa cơ nghiệp của thân phụ. Trong những vị vua trung hưng đó, Tấn Nguyên Đế với Tống Cao Tông có nhiều điều đáng trách. Cao Tông cung kiệm nhân hậu, tài văn học có thừa, còn như tài dẹp loạn phục hưng thì không phải không có. Huống hồ tình thế nguy bức, binh nhược tiền ít, nhiều việc khó khăn đều đổ lên vai ông. Lúc mới lên ngôi được tứ phương cần vương hưởng ứng, bên trong có Lý Cương, bên ngoài nhờ Tông Trạch, việc thiên hạ không thể nói là không làm được. Sau dùng Miêu, Lưu để chúng làm loạn, quyền nghi lập quốc, làm nhiều việc xấu. Lúc đầu tin bọn Uông, Hoàng; về sau tín nhiệm Tần Cối, triều đình có nhiều điều gian trá. Đến như Triệu Đỉnh, Trương Tuấn là các đại tướng mà bị bài xích, phụ tử Nhạc Phi có công chưa thành rồi thì chết oan. Đế đã chết rồi mà vẫn còn bị người đời sau chê cười, thương thay!

Theo truyền thuyết dân gian, Tống Cao Tông là do Ngô Việt vương Tiền Lưu thác sinh ra. Lúc Vi Hiền phi mang thai Cao Tông đã nằm mộng thấy Ngô Việt vương. Ngô Việt vương đóng đô ở Lâm An, Cao Tông cũng đóng đô ở Lâm An; Ngô Việt vương thọ 81 tuổi, Cao Tông cũng sống đến 81 tuổi.